#Sequential Monte Carlo - AI Papers Daily

Stochastic Estimation of Transduced Language Models

转导语言模型的无偏随机估计

🧭 无偏概率估计与 beam 采样优化

ETH Zürich · University of Copenhagen · CHI-FRO

提出无放回重采样校正的beam-summing估计器，对TLM目标前缀概率给出无偏估计并大幅降低长序列推理时间

📌 工作参考价值（4 点）

生成式推荐/query 生成通常用 beam search + 阈值剪枝，这会给候选概率带来未知偏差。可以借鉴无放回采样 beam-summing 替代，获得无偏概率估计，用于后续重排序或校准，并能量化被剪枝的质量损失。
在 LLM 受限生成（如 query 规范化、属性抽取）或 FST 组合场景中，该方法比阈值剪枝快几个数量级，适合长目标串在线概率估计，可降低服务时延。
该算法随概率质量增加动态减少粒子数，保证停机，对需要严格延迟预算的在线推理系统有借鉴：在高质量区域可提前结束搜索。
sequential Monte Carlo 基线有放回采样，该方法无放回且用 inclusion probability 校正，改善 compute-variance tradeoff，可迁移到用户模型重要性采样或日志策略评估。

LLM | 2026-08-27 | cs.CL | score 7/10

离散扩散推理时控制的嵌套序贯蒙特卡洛方法

🧭 离散扩散文本生成推理时控制

University of Amsterdam

提出 NSMC 与 FA-NSMC 用于离散扩散文本生成推理时奖励引导，修正偏差并优于 best-of-n 与 bootstrap SMC

📌 工作参考价值（4 点）

若在电商/广告文案、搜索词生成中采用离散扩散语言模型（DDLM），可替换 best-of-n 为 NSMC：best-of-n 易高估 reward，bootstrap SMC 有权重退化，NSMC 能更稳定地按序列级 reward（如点击率、合规性、品牌语调）做推理时引导，无需额外训练。
FA-NSMC 通过 fully adapted proposal 融入 reward 信息，能提高采样效率；在生成式推荐场景中，若 reward 模型计算昂贵（如 LLM judge 打分），可优先考虑 FA-NSMC 减少粒子数。
论文修正了 Feynman-Kac 控制中嵌套 SMC 的 bias 问题：实际工程中若自己实现 SMC 控制，需注意 final estimate 的无偏/有偏处理，避免离线评估指标系统性偏乐观。
该方法适用于任意序列级可微/不可微 reward，可作为生成式排序、push 文案、query 推荐的在线后处理层，但需权衡每 token 的 SMC 递归开销。

LLM | 2026-08-20 | cs.LG | score 6/10